Learning Representations by Back-propagating Errors

概述

1986年由David Rumelhart、Geoffrey Hinton和Ronald Williams发表的开创性论文，正式提出了反向传播算法，为深度学习奠定了基础。

关键内容

1. 反向传播算法：系统地描述了如何通过误差反向传播来计算神经网络中每个权重的梯度，解决了多层神经网络的训练难题。
2. 梯度计算：提供了有效的计算方法来确定每个连接权重对最终误差的贡献，使得多层网络训练成为可能。
3. 分布式表示：介绍了神经网络如何学习输入数据的分布式内部表示，这对后续表示学习至关重要。
4. 学习表征：强调了神经网络在学习过程中自动提取有用特征的能力。

来源

• ai_papers_timeline — 经典AI论文完整时间线

相关

• David Rumelhart — author
• Geoffrey Hinton — author
• Ronald Williams — author
• Perceptrons — extends
• 深度学习基础 — relates_to
• 表示学习 — relates_to